Năm 195 TCN, Hán Cao Tổ bị thương bởi một mũi tên đi lạc khi đi dẹp loạn Anh Bố. Ông bị ốm phải nằm trong cung, không muốn gặp ai, sai thị vệ canh phòng không cho ai vào. Hơn 10 ngày sau, Phàn Khoái sốt ruột không nén được bèn dẫn đầu các quan đẩy cửa cung mà vào chỗ Lưu Bang, thấy Lưu Bang đang gối trên đùi một hoạn quan ngủ. Phàn Khoái tiến lại gần, gào khóc nói: "Buổi đầu, bệ hạ cùng vi thần khởi binh ở đất Bái, bình định thiên hạ, lúc đó oai dũng biết bao! Nay thiên hạ đã định, bệ hạ lại mệt mỏi đến thế! Bệ hạ bệnh tình trầm trọng, đại thần đều lo sợ, bệ hạ không chịu tiếp kiến chúng thần bàn bạc việc nước, lại chỉ ở riêng với một hoạn quan mà bỏ người trong thiên hạ đi sao? Vả chăng, bệ hạ không thấy gương Triệu Cao làm loạn hay sao?". Lưu Bang nghe vậy đành phải ngồi dậy để gặp các đại thần.

Sức khỏe của ông ngày càng xấu đi và Lã Hậu cho mời những thầy thuốc giỏi nhất để cứu chữa. Khi Hán Cao Tổ hỏi về tình trạng của mình, thầy thuốc nói rằng bệnh của ông có thể được chữa khỏi. Tuy nhiên, Hán Cao Tổ không hài lòng và đã mắng thầy thuốc rằng: "Ta đây quần thô áo vải, tay 3 tấc gươm cùn mà đoạt thiên hạ, há chẳng phải ý trời hay sao? Sống chết có mạng, dù có đến Biển Thước cũng không thay đổi được!". Hán Cao Tổ từ chối thuốc men điều trị và mời thầy thuốc đi với một số vàng.

Nhân lúc Lưu Bang tỉnh táo, Lã Hậu hỏi: "Sau khi bệ hạ muôn tuổi, mà thừa tướng Tiêu Hà cũng mất, thì nên cho ai làm thừa tướng?". Lưu Bang đáp: "Tào Tham làm được". Lã Hậu lại hỏi sau Tào Tham là ai. Lưu Bang lại đáp: "Vương Lăng có thể thay được. Tuy nhiên Vương Lăng tính trực mà ương, cần phải có Trần Bình giúp sức. Trần Bình trí khôn có thừa nhưng không thể gánh vác một mình. Chu Bột là kẻ thật thà, tính thận trọng, nên cùng hắn làm chức Thái úy". Lã Hậu lại hỏi về sau, Lưu Bang nói: "Ta chỉ biết đến đó mà thôi".

Sau đó ông qua đời ở cung Trường Lạc vào ngày 1 tháng 6 năm 195 TCN, hưởng thọ 63 tuổi. Ông được truy tôn miếu hiệu là Thái Tổ (太祖) nhưng do Tư Mã Thiên chép trong Sử Ký là Cao Tổ Bản Kỷ nên đời sau thường gọi là Hán Cao Tổ (漢高祖), thụy hiệu là Hiếu Cao Hoàng đế (孝高皇帝) nên cũng được gọi là Hán Cao Đế (漢高帝).

Thái tử Lưu Doanh, con trai cả Cao Tổ với Lữ Hậu, thừa kế cơ nghiệp, tức Hán Huệ Đế. Tuy nhiên, Cao Tổ vốn không thích Lưu Doanh vì cho rằng Doanh quá yếu đuối. Con trai Thích phu nhân, người thiếp yêu của ông, là Như Ý được ông định lập lên thay Thái tử nhưng bất thành vì các quan trong triều vẫn trung thành với Thái tử và Lữ Hậu. Ông bèn phong Như Ý làm Triệu Vương.

Sự sủng ái của Hán Cao Tổ dành cho Thích Phu nhân và Như Ý khiến Lã hậu căm giận. Sau khi Huệ Đế lên nối ngôi, Lã Hậu nắm hết quyền lực trong tay, đầu độc giết Như Ý và tra tấn đến chết Thích Phu nhân. Ngoài ra, nhiều người con khác của Lưu Bang cũng lần lượt bị Lã Hậu giết.